标签：causal mask
-
NoPE 实验：不要位置编码行不行把位置编码整个删掉，模型还能不能感知顺序？Kazemnejad et al. 2023 的 NoPE 实验给出了反直觉的答案：causal mask 本身就泄露位置信息——但只泄露「前缀长度」这一种。
把位置编码整个删掉，模型还能不能感知顺序？Kazemnejad et al. 2023 的 NoPE 实验给出了反直觉的答案：causal mask 本身就泄露位置信息——但只泄露「前缀长度」这一种。